เว่ย์ จื่อฟู เกิดในชนชั้นต่ำต้อย เป็นบุตรคนที่สี่และคนสุดท้องของครอบครัวซึ่งเป็นทาสติดที่ดิน มารดาเป็นหญิงรับใช้ในตำหนักขององค์หญิงผิงหยาง (平陽公主) พระพี่นางของจักรพรรดิฮั่นอู่ ส่วนบิดาคงจะเสียชีวิตในช่วงที่นางเกิด มีบันทึกน้อยมากเกี่ยวกับสมาชิกส่วนใหญ่ในตระกูลของนาง นางมีน้องชายร่วมมารดา คือ เว่ย์ ชิง ซึ่งเกิดจากความสัมพันธ์นอกสมรสระหว่างมารดาของนางกับขุนนางชั้นผู้น้อยคนหนึ่งในตำหนักองค์หญิงผิงหยาง โดยถือกำเนิดไม่ช้าไม่นานหลังจากที่นางเกิด ครั้งที่นางยังเยาว์ นางได้รับคัดเลือกเข้าเป็นหญิงขับร้องในตำหนักขององค์หญิงผิงหยาง ที่ซึ่งนางได้รับการฝึกฝนด้านระบำรำฟ้อนและศิลปะสี่ด้านที่เรียกว่า สี่ศิลป์ (四藝)[1]